MEMO inzake verstoringen 22 januari 2015 en 2 februari 2015 


Achtergrond computersystemen en netwerken ProRail 

De computersystemen en netwerken voor de treinbesturing bij ProRail zijn dubbel uitgevoerd en staan 
decentraal opgesteld in de computerruimtes van de verkeersleidingsposten welke van een kwalitatief 
hoogwaardig niveau (internationaal TIER2) zijn. Daarnaast is er in het gebouw van OCCR een 
uitwijkcomputercentrum en seinzaal ingericht, dat bij het volledig verloren gaan van een post na een 
dagdeel weer kan functioneren. Via de uitwijkseinzaal kan dan met behulp van de uitwijkcomputers via 
het nieuw aangelegde netwerk de besturing van een verkeersleidingspost worden overgenomen. 

Alle redundantie die is aangebracht in de computerruimte (energievoorziening, klimaatbeheersing, 
netwerken) en computers, heeft van 2007 tot en met 2014 elk jaar weer voor een verdere reductie in 
het aantal verstoringen geleid (in totaal is meer dan 80% gereduceerd in aantal en impact). De uitwijk 
heeft ervoor gezorgd dat continuïteit bij een grote calamiteit (zoals een brand) na één spits weer is 
verzekerd. 

Naar aanleiding van de brand in post Utrecht in 2010 is nog verder gewerkt aan de reductie van de 
risico’s op postuitval. Alle posten zijn ten behoeve van preventie voorzien van aanvullende 
toegangsbeveiliging en brandblusvoorzieningen. Voor de post Utrecht is daarbij nog een aanvullende 
stap gezet. De computersystemen van de post Utrecht zijn niet meer gepositioneerd in de 
computerruimte van de VL post, maar verplaatst naar een op internationaal niveau Tier 3 
gecertificeerd extern rekencentrum van BT. Daarmee werd opnieuw een hoger voorzieningenniveau 
van beveiliging, koeling en stroom bereikt voor de computerinstallaties. Het systeem van de post 
Utrecht verschilt hiermee in voorzieningenniveau en qua opzet van de andere posten. 

Storing 22 januari 2015 


Treinreizigers rond Utrecht Centraal hebben donderdag 22 januari jl. last gehad van geen en beperkt 
treinverkeer vanwege een netwerkstoring. Het betreft het netwerk tussen de verkeersleidingspost 
Utrecht en het rekencentrum in Nieuwegein. Onderzoek geeft met zekerheid aan dat het een 
netwerkstoring betrof en dat de aanleiding van de storing een aanpassing in het netwerk is geweest. 
Deze netwerkaanpassing heeft het reguliere proces doorlopen waarbij de aanpassing op risico’s is 
beoordeeld. De beoordeling was dat de aanpassing geen risico zou hebben op de operatie en dat 
deze overdag kon worden uitgevoerd. Alle aanpassingen met risico worden namelijk standaard ’s 
nachts uitgevoerd om impact voor de treindienst te voorkomen. Per kwartaal worden zo’n 900 ‘ICT 
changes’ uitgevoerd waar de reiziger doorgaans uiteraard niets van merkt. De aanpassing nu leidde 
echter tot een netwerkstoring die ervoor zorgde dat de werkplekken op de verkeersleidingspost 
Utrecht tijdelijk uitvielen. 

De werkplekken op de verkeersleidingspost Utrecht waren na 40 minuten weer operationeel. De 
impact op de treindienst was zeer groot - een grote logistieke opgave ontstond om het treinverkeer 
van en naar Utrecht weer op de rit te krijgen. Tussen ongeveer 11:30 uur en 13:30 uur zijn gestrande 
treinen naar stations geleid. Daarna is de dienstregeling gefaseerd opgestart. Donderdag 22 januari 
2015 kende een punctualiteitcijfer van 85,5 % en uitval van 7,0 %. Tot nader order zijn de 
aanpassingen aan het netwerk in Utrecht opgeschort. 



Hieronder ter illustratie het aantal vertrekkende treinen (dus exclusief aankomende) die dag op station 
Utrecht Centraal. 


aantal vertrekkende reizigerstreinen in Utrecht op 22-1-2015 
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Storing 2 februari 2015 


Voorafgaand 

BT heeft in verband met de groei in het rekencentrum in een aantal stappen de uitbreiding van de 
energievoorziening van haar rekencentrum gepland. De eerste stap hierin was zondag 1 februari jl. 
Deze aanpassing is goed met ProRail doorgesproken en er zijn diverse maatregelen genomen om het 
risico van deze aanpassing te reduceren. Het karakter van de aanpassing was namelijk dat bij een 
deel van de systemen van de post Utrecht de stroomvoorziening zou wegvallen. Het zou slechts een 
deel betreffen, omdat in verband met de ontworpen redundantie er sprake is van drie van elkaar 
gescheiden toevoeren van stroom. Slechts één van de drie zou in de eerste stap in onderhoud worden 
genomen en direct vervangen worden door een tijdelijke aanvoer. 

De aanpassing aan deze ene aanvoer is zonder problemen verlopen. Echter een onverklaard 
neveneffect trad op. Een aantal computersystemen die met de derde stroomtoevoer verbonden 
waren, vielen onverwachts uit. Er werden geen werkzaamheden aan deze stroomtoevoer uitgevoerd 
en het is nog onduidelijk hoe dit kon gebeuren (is nog in onderzoek). Na een korte onderbreking 
kwamen wel direct de systemen weer in bedrijf. Alles leek gedurende de gehele zondag in orde. 

2 februari 

Maandagochtend rond 7:30 viel één van de computers in het Rekencentrum in Nieuwegein uit. 

Daarop trad het redundantie mechanisme in werking en schakelde de (al sinds zondag) kapotte 
computer onmiddellijk over naar een andere (redundante) computer. In dit schakelproces ontstaat een 
zwaardere belasting op het systeem. Het systeem is op deze zwaardere belasting ontworpen. Echter 
in dit schakelproces blijkt maandagochtend toch een vertraging te ontstaan. De glasvezelverbinding 
tussen beide computers en de opslagssystemen blijkt te zijn beschadigd, waardoor het totaal trager 
reageert. Deze traagheid wordt manifest door de drukte van de maandagochtendspits die meer 
capaciteit vraagt dan de zondagdienstregeling de dag ervoor. De wissels en seinen kunnen door de 
treindienstleiders niet meer worden bediend. 

Gedurende het herstel van de bediening van de seinen en wissels werden de tientallen gestrande, 
lege treinen stapsgewijs weggevoerd. Tijdens het technisch herstel werden tevens voorbereidende 
maatregelen getroffen, mocht eventueel het besluit worden genomen om als noodplan de 
uitwijkprocedure te starten. Rond 10.30 uur zijn de systemen technisch hersteld, en werden de 
werkplekken van de treindienstleiders functioneel hersteld. Daarna werden eerst testritten en 
testseries ingelegd om de stabiliteit van het systeem te toetsen. Rond half twaalf werd besloten de 
opstart te beginnen met twee treinseries. Bij besluitvorming is niet gekozen voor uitwijk omdat er zicht 
op herstel was (eerste testen met bediening waren positief) en omdat de lange doorloop tijd van 4 uur 1 
betekende dat er langer overlast voor reizigers zou zijn. 

Om de opstart van de dienstregeling geen hinder te laten hebben voor de treinenloop buiten Utrecht, 
diende de opstart stapsgewijs te gebeuren. Dat resulteerde ook in de meest betrouwbare 
reisinformatie. Gedurende elke stap werden enkele treinseries gestart, elke stap duurt 30-60 minuten. 
Bij het weer opstarten zijn eerst de lange IC lijnen gestart en vervolgens de sprinters. 


Pendelen is bewust niet gedaan. Met pendelen ontstaat onvoldoende capaciteit voor de hoeveelheid 
reizigers. Daarbij is vanuit pendelen overstappen op een goede dienstregeling niet mogelijk. 
Reisinformatie is daarbij bij een pendeldienst niet betrouwbaar. 


Uitwijk is ontworpen om bij grote calamiteiten die meer dan 2 spitsen raken (zoals een brand in een verkeersleidingspost) uit te kunnen 
wijken naar een andere locatie (het OCCR) om van daaruit de treindienstleiding te kunnen uitvoeren. Hierbij worden ICT systemen 
omgeschakeld en gaan ook de treindienstleiders met lokale kennis naar het OCCR. Uitwijk is ontworpen om ineen dagdeel dit te kunnen 
realiseren. 



Maandag 02 februari 2015 kende een punctualiteitcijfer van 81,2 % en een uitval van 14,5 %. 
Hieronder ter illustratie het aantal vertrekkende treinen (dus exclusief aankomende) die dag op station 
Utrecht Centraal. 


aantal vertrekkende reizigerstreinen in Utrecht op 2-2-2015 
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Voorlopige conclusie 

We concluderen dat een meervoudig defect in het totale systeem van redundante computers en 
gegevensopslag is opgetreden. Het redundante systeem is niet bestand tegen een dergelijk 
meervoudig defect. De defecten hebben zich pas gemanifesteerd toen één van de aangetaste 
computers uitviel onder de hogere belasting van de ochtendspits van maandag (in vergelijking met het 
treinverkeer op zondag). 

Geen relatie storingen 22 januari en 2 februari 

Onderzoek toont geen relatie tussen de storing van 22 januari en die van 2 februari. De storing op 22 
januari werd veroorzaakt door het netwerk tussen de verkeersleidingspost in Utrecht en het 
rekencentrum in Nieuwegein. De oorzaak op 2 februari was een meervoudig defect in het totale 
systeem van redundante computers en gegevensopslag. 



Redundante voeding 


































Vervolgonderzoek 


Ten aanzien van de storing op 22 januari wordt onderzocht: 

• of extra monitoring op het netwerk noodzakelijk is om dit type risico van 22 januari op voorhand te 
identificeren; 

• of de afweging wanneer werkzaamheden zoals op 22 januari risicovol zijn anders gemaakt moeten 
worden; 

• en of het betreffende risico van 22 januari ook in andere onderdelen van het netwerk kan optreden. Dit 
onderzoek wordt door een externe partij uitgevoerd. 

Ten aanzien van de storing op 2 februari wordt onderzocht: 

• hoe de beschadiging heeft kunnen plaatsvinden. Deze had niet mogen plaatsvinden. De systemen 
worden geacht hiertegen te zijn beveiligd. We gaan na wat daarin niet goed functioneerde en hoe het 
kon gebeuren dat de impact van de stroomstoring op 2 februari plaatsvond in de andere 
energietoevoer dan die waaraan gewerkt werd. Hiernaar wordt extern onderzoek verricht; 

• wat de relatie is tussen de schade in de systemen en de onregelmatigheid in de stroomtoevoerop 2 
februari; 

• of en in welke mate meervoudige defecten de redundantie kwetsbaar maken; 

• en wat de mogelijkheden zijn om dit type verborgen defecten (ontstaan op zondag 1 februari) eerder te 
identificeren en beter te signaleren, zodat ze niet pas later manifest worden. 



